随着自我监督学习的快速发展（例如，对比度学习），在医学图像分析中广泛认识到具有大规模图像（即使没有注释）来训练更具概括的AI模型的重要性。但是，大规模收集大规模任务的未注释数据对于单个实验室来说可能具有挑战性。现有的在线资源（例如数字书籍，出版物和搜索引擎）为获取大型图像提供了新的资源。然而，在医疗保健中发布的图像（例如放射学和病理学）由大量的带有子图的复合图组成。为了提取和分离化合物形象为下游学习的可用单个图像，我们提出了一个简单的复合图分离（SIMCFS）框架，而无需使用传统所需的检测边界框注释，并具有新的损失函数和硬案例模拟。我们的技术贡献是四倍：（1）我们引入了一个基于模拟的培训框架，该框架最小化了对资源广泛的边界框注释的需求； （2）我们提出了一种新的侧损失，可针对复合人物分离进行优化； （3）我们提出了一种阶层内图像增强方法来模拟硬病例； （4）据我们所知，这是第一项评估利用复合图像分离的自我监督学习功效的研究。从结果来看，提出的SIMCF在ImageClef 2016复合人物分离数据库上实现了最先进的性能。使用大规模开采数字的预审预革的学习模型通过对比度学习算法提高了下游图像分类任务的准确性。 SIMCF的源代码可在https://github.com/hrlblab/imageseperation上公开获得。
translated by 谷歌翻译
由于物体的异质尺度，肾脏病理图像的全面语义分割具有挑战性。例如，在整个幻灯片图像（WSI）上，肾小球的横截面区域的距离可能比周围毛细管的64倍，这使得以相同尺度上的同一贴片对两个对象进行分割是不切实际的。为了解决这个缩放问题，先前的研究通常已经训练了多个分割网络，以匹配异质组织类型的最佳像素分辨率。这种多网络解决方案是资源密集型的，无法对组织类型之间的空间关系进行建模。在本文中，我们提出了Omni-Seg+网络，这是一种通过单个神经网络实现多对象（六种组织类型）和多尺度（5倍至40倍尺度）的多尺度（5倍至40倍尺度）的动态神经网络。本文的贡献是三个方面的：（1）提出了一种新型的量表感知控制器，以将动态神经网络从单尺度到多尺度推广； （2）引入了伪标签的半监督一致性正规化，以建模未经注释的组织类型的尺度相关性成单个端到端的学习范式； （3）直接将在人类肾脏图像训练的模型中直接应用于小鼠肾脏图像，而无需再培训，就可以证明高尺度感知的概括。通过从三种不同分辨率下从六种组织类型中学习的约150,000个人类病理图像斑块，我们的方法根据人类的视觉评估和图像词的评估（即空间转录组学）获得了卓越的分割性能。官方实施可在https://github.com/ddrrnn123/omni-seg上获得。
translated by 谷歌翻译
整合跨部门多模式数据（例如，放射学，病理学，基因组和临床数据）无处不在，在脑癌诊断和存活预测中无处不在。迄今为止，这种整合通常是由人类医师（以及专家小组）进行的，可以是主观的和半定量的。然而，多模式深度学习的最新进展已为利用这种过程以更加客观和定量的方式打开了一扇门。不幸的是，先前在脑癌生存预测上使用四种模式的艺术受到“完整模式”设置的限制（即，所有可用方式）。因此，关于如何有效预测脑癌生存的问题仍然存在开放性问题，从放射学，病理学，基因组和人口统计学数据中（例如，可能无法为患者收集一种或多种方式）。例如，我们是否应该同时使用完整和不完整的数据，更重要的是，如何使用这些数据？为了回答前面的问题，我们将跨部门多模式数据的多模式学习推广到缺失的数据设置。我们的贡献是三个方面：1）我们引入了最佳的多模式学习，其中缺少数据（MMD）管道具有优化的硬件消耗和计算效率； 2）我们将有关放射学，病理，基因组和人口统计学数据的多模式学习扩展到缺失的数据情景； 3）收集了一个大规模的公共数据集（有962名患者），以系统地评估胶质瘤肿瘤存活预测。所提出的方法将生存预测的C索引从0.7624提高到0.8053。
translated by 谷歌翻译
微卫星不稳定性（MSI）和微卫星稳定性（MSS）的预测对于预测胃肠癌的治疗响应和预后至关重要。在临床实践中，建议使用通用MSI测试，但这种测试的可访问性是有限的。因此，希望更具成本效益和广泛可接近的工具来覆盖传统上未经测试的患者。在过去的几年中，已经提出了基于深度学习的算法，以预测MSI直接从血红素蛋白和曙红（H＆E） - 染色的整个幻灯片图像（WSIS）。这种算法可以概括为（1）修补程序级MSI / MSS预测，以及（2）患者级聚合。与为第一阶段采用的高级深度学习方法相比，在第二阶段仅采用NA \“IVE一阶统计（例如，平均和计数）。在本文中，我们提出了一个简单而广泛概括的患者级MSI聚合（MAG）方法，以有效地集成贵重补丁级信息。简而言之，第一阶段的整个概率分布被建模为基于直方图的特征，以融合为机器学习的最终结果（例如， SVM）。所提出的MAG方法可以轻松地以即插即用方式使用，这些方法已经在五个广泛使用的深度神经网络上进行了评估：Reset，MobileNetv2，WeparessNet，DPN和ResNext。从结果，所提出的MAG方法始终如一地提高了两个公共数据集的患者级别聚合的准确性。我们希望提出的方法可能会利用基于低成本的H＆E的MSI检测方法。代码o F我们的工作已在HTTPS://github.com/calvin-pang/mag公开提供。
translated by 谷歌翻译
关于Giga-Pixel病理学图像的计算机辅助定量分析提供了精密药物的新大道。该创新主要集中在癌症病理学（即，肿瘤分割和表征）上。在非癌症病理学中，可以要求学习算法同时检查更全面的组织类型，作为多标签设置。现有技术通常需要训练多个分段网络，以匹配非均相组织类型的域特异性知识（例如，肾小球簇，肾小球单元，近端管，远端管，梗塞和动脉）。在本文中，我们提出了一种动态单分割网络（OMNI-SEG），该网络（OMNI-SEG）学习使用部分标记的图像（即，仅针对每个训练图像标记一个组织类型）进行多种组织类型进行肾脏病理学。通过从六种组织类型学习〜150,000的Patch-Wise病理图像，与先前的多网络和多头设计相比，所提出的Omni-SEG网络实现了卓越的分割精度和更少的资源消耗。在测试阶段，所提出的方法仅使用“部分标记”训练图像获得“完全标记的”组织分割结果。源代码可在https://github.com/ddrrnn123/omni-seg中获得。
translated by 谷歌翻译
机器学习（ML）模型，例如SVM，用于分类和序列的聚类等任务，需要定义序列对之间的距离/相似性。已经提出了几种方法来计算序列之间的相似性，例如确切的方法计算$ k $ -s-mers（长度$ k $的子序列）之间的匹配数和估计成对相似性得分的近似方法。尽管精确的方法产生了更好的分类性能，但它们的计算成本很高，将其适用性限制在少量序列中。事实证明，近似算法更可扩展，并具有相当的性能（有时更好）确切方法 - 它们以“一般”方式设计用于处理不同类型的序列（例如音乐，蛋白质等）。尽管一般适用性是算法的所需属性，但在所有情况下都不是这种情况。例如，在当前的Covid-19（冠状病毒）大流行中，需要一种可以专门处理冠状病毒的方法。为此，我们提出了一系列方法来提高近似内核的性能（使用最小化和信息增益），以增强其预测性能PM冠状病毒序列。更具体地说，我们使用域知识（使用信息增益计算）和有效的预处理（使用最小值计算）来提高近似内核的质量，以对与不同变体相对应的冠状病毒峰值蛋白序列进行分类（例如，Alpha，Beta，Beta，Gamma）。我们使用不同的分类和聚类算法报告结果，并使用多个评估指标评估其性能。使用两个数据集，我们表明我们提出的方法有助于与医疗保健领域的基线和最先进的方法相比，有助于提高内核的性能。
translated by 谷歌翻译
点云压缩（PCC）是各种3-D应用程序的关键推动器，这是由于点云格式的通用性。理想情况下，3D点云努力描绘了连续的对象/场景表面。实际上，作为一组离散样本，点云是局部断开连接并稀疏分布的。这种稀疏的性质阻碍了在压缩点之间发现局部相关性的发现。通过分形维度的分析，我们提出了一种异质方法，并深入学习有损耗的点云几何压缩。在压缩输入的粗表示的基础层的顶部上，增强层的设计旨在应对具有挑战性的几何残差/详细信息。具体而言，应用基于点的网络将不稳定的本地详细信息转换为位于粗点云上的潜在特征。然后启动了在粗点云上运行的稀疏卷积神经网络。它利用粗糙几何形状的连续性/平滑度来压缩潜在特征，作为增强的位流，极大地使重建质量受益。当此位流不可用时，例如，由于数据包丢失，我们支持具有相同体系结构的跳过模式，该模式直接从粗点云中生成几何细节。对密度和稀疏点云的实验证明了我们的提案实现的最新压缩性能。我们的代码可在https://github.com/interdigitalinc/grasp-net上找到。
translated by 谷歌翻译
滚动轴承是旋转机械的最关键组成部分。及时识别有缺陷的轴承可能会阻止整个机械系统的故障。由于机器零件的快速发展，机械状况监测场已进入大数据阶段。当使用大量数据时，手动特征提取方法的缺点是效率低下和不准确。近年来，诸如深度学习方法之类的数据驱动方法已成功用于机械智能故障检测。卷积神经网络（CNN）主要用于早期研究中，以检测和识别轴承断层。但是，CNN模型遭受了难以管理故障时间信息的缺点，这导致缺乏分类结果。在这项研究中，使用最先进的视觉变压器（VIT）对轴承缺陷进行了分类。使用Case Western Reserve University（CWRU）实验室实验数据对轴承缺陷进行了分类。该研究还考虑了除正常轴承条件外，在0负载情况下的13种不同类型的缺陷。使用短时傅立叶变换（STFT），将振动信号转换为2D时频图像。 2D时频图像用作VIT的输入参数。该模型的总体准确度为98.8％。
translated by 谷歌翻译
观察到对于某些NLP任务，例如语义角色预测或主题拟合估计，随机嵌入性能以及预处理的嵌入方式，我们探索了哪些设置允许并检查大多数学习的编码：语义角色，语义角色，语义角色嵌入或``网络''。我们发现细微的答案，具体取决于任务及其与培训目标的关系。我们研究了多任务学习中的这些表示学习方面，在这些方面，角色预测和角色填充是受监督的任务，而几个主题拟合任务不在模型的直接监督之外。我们观察到某些任务的质量得分与培训数据规模之间的非单调关系。为了更好地理解此观察结果，我们使用这些任务的每个动力版本来分析这些结果。
translated by 谷歌翻译
前庭造型瘤（VS）通常从内耳生长到大脑。它可以分为两个区域，分别对应于内耳管内或外部。外部区域的生长是决定疾病管理的关键因素，其次是临床医生。在这项工作中，提出了将细分分为内部/优质零件的VS分割方法。我们注释了一个由227个T2 MRI实例组成的数据集，对137名患者进行了纵向获得，不包括术后实例。我们提出了一种分阶段的方法，第一阶段进行整个肿瘤分割，第二阶段使用T2 MRI以及从第一阶段获得的掩码进行了术中/极度分割。为了提高预测的肉类边界的准确性，我们引入了特定于任务的损失，我们称之为边界距离损失。与直接仪内分割任务性能（即基线）相比，评估了该性能。我们所提出的方法采用两阶段方法和边界距离损失，分别达到0.8279+-0.2050和0.7744+-0.1352，分别为室外和室内室内区域，显着提高了基线，这给出了0.7939+的骰子得分-0.2325和0.7475+-0.1346分别用于室外和室内区域。
translated by 谷歌翻译